Năm 1976, ông được bầu làm Phó Chủ tịch Quốc hội của nước Việt Nam thống nhất. Tuy nhiên, không lâu sau đó, quan hệ Việt - Trung trở nên căng thẳng và xấu đi nhanh chóng, cao điểm là việc Ủy viên Bộ Chính trị Hoàng Văn Hoan trốn sang Trung Quốc và cuộc chiến tranh Việt - Trung vào năm 1979. Do có quan hệ gần gũi với Hoàng Văn Hoan, ông bị nghi ngờ và bị cách chức, bị cô lập chính trị và quản thúc tại gia cho đến ngày qua đời. Sau này ông được phục hồi danh dự cũng không công khai như khi bị cách chức.[cần dẫn nguồn]

Ông mất năm 1984 tại Hà Nội. Khi mất, ông được an táng tại Nghĩa trang Văn Điển, Hà Nội. Hiện nay phần mộ của ông đã được gia đình cải táng và đưa về nghĩa trang của gia đình tại xã Phú Thượng, huyện Võ Nhai, tỉnh Thái Nguyên.